Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
永井 佑紀; 富谷 昭夫*
no journal, ,
生成AIにおける基幹技術であるTransformerを用いた新しい自己学習モンテカルロ法を提案した。本研究では、文章における距離の離れた単語の関連性を推測することができるTransformerのAttention機構を用いることにより、電子系の相転移で重要となる長距離相関を効率よく取り込める有効模型を構築した。さらに、スピン回転、空間並進など系が満たすべき対称性をネットワークに取り込むことにより、パラメータ数を劇的に減らすことに成功した。また、レイヤー数を増やすにつれてlossが減っていくというスケーリング則を見出した。